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PROCEDE D' EVALUATION DE LA QUALITE DE SEQUENCES AUDIOVISUELLES. 

(§5 L'invention conceme un procede devaluation de la 
qualite d'une sequence audiovisuelle, par 

a) un apprentissage attribuant une note subjective NS 
a chacune de N G sequences S - t presentant des degrada- 
tions identifiees par un vecteur d'apprentissage MO > affecte 
a chaque sequence S ; pour constituer une base de don- 
neesMO:,NSi; 

b) le classernent des N 0 vecteurs MO j en k classes de 
notes selon les notes NS > attributes, pour former k ensem- 
bles d' apprentissage EA j (avec j - 1 , 2-k) ayant k notes d' ap- 
prentissage NSRs.; 

c) pour chaque ensemble EA j , reiaboration d'un dic- 
tionnaire de reference D , compose de N i vecteurs VRi 
(avec = 1,2. Nj); ' 1 

d) pour ladite sequence audiovisuelle, reiaboration d'un 
vecteur MO; 

e) le choix parmi les vecteurs VR t des k dictionnaires, 
du vecteur VR., , le plus proche dudit vecteur MO; 

0 attribution a la sequence audiovisuelle de la note NSR 
|, correspondant au dictionnaire de reference auquel appar- 
tient ledit vecteur VR n , le plus proche. 
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PROCEDE D' EVALUATION DE LA QUALITE DE SEQUENCES 

AUDIOVISUELLES 

La presente invention a pour objet un procede 
d' evaluation de la qualite d'une sequence audiovisuelle, 
5 une telle sequence etant d<§finie, sous sa forme la plus 
generale, cotnme comprenant des signaux audio et/ou video. 

La numerisation des signaux audio et vid£o a 
ouvert la possibility de pouvoir copier, stocker ou 
transmettre ce type d ' information en maintenant une 
10 qualite constante . Cependant la grande quantite 
d 1 information vehiculee par les signaux audiovisuels 
necessite en pratique 1 1 utilisation de methodes de 
compression num€rique pour reduire le d6bit binaire. 

La norme MPEG2 decrit un certain type de 
techniques applicables pour la reduction de debit. Ces 
algorithmes sont dits "avec pertes", car les signaux 
restitues apres le decodage ne sont plus identiques aux 
originaux/ Afin de maintenir une qualite acceptable pour 
le telespectateur final, les algorithmes de reduction de 
debit tiennent compte des proprietes perceptuelles de 
l'oeil et de l f oreille humaines . En depit de ceci, les 
contraintes imposees, de debit ou de largeur de bande 
disponible pour la transmission, ainsi que le contenu des 
signaux impliquent 1' apparition de degradations 
25 caract<§ristiques sur le signal aprds decodage. Ces 
degradations introduites par la chaine globale MPEG2 - 
codage et transmission - influent directement sur la 
qualite finale pergue. 

L 1 evaluation automat ique de la qualite des 
signaux audiovisuels a un large champ d ' applications dans 
la chaine de television numerique : production, 
distribution, et evaluation des performances des 
systemes. 

Les dispositifs existants ont par contre ete 
elabores pour des tests en laboratoires et ne sont pas 
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adaptes pour la telesurveillance des reseaux de 
distribution. 

La qualification des degradations affectant la 
qualite de 1 1 image et de l 1 audio lors de 1 1 application 

5 d'un codage a reduction de debit ou d'une transmission, 
est possible de deux manieres differentes. D'une part, 
les tests subject if s conduits dans des conditions 
precises, fournissent des resultats reproductibles . 
Cependant, ils sont longs et couteux a realiser. D' autre 

10 part, les systemes automatiques devaluation de la 
qualite par des mesures objectives permettent, par 
exemple, de faciliter la mise au point et la comparaison 
d'algorithmes de codage. Ils off rent la possibility de 
tester de maniSre ponctuelle ou en continu des systemes 

15 numeriques. Pour obtenir des mesures objectives 
signif icativement corrSles aux valeurs subjectives, les 
proprietes du systeme visuel humain doivent etre prises 
en compte. 

La notion de qualite est essentiellement 

20 relative. En effet, merae le tel^spectateur place dans des 
conditions habituelles d 1 observation (chez lui) juge de 
la qualite des signaux qui lui sont presences par rapport 
a une reference. Celle-ci est dans ce cas. constitute de 
ses attentes ou de ses habitudes. De meme, une methode 

25 devaluation de quality objective effectue une analyse 
des degradations introduites par le systeme sur les 
signaux en tenant compte des signaux de r£f£rence 
presents en entree du systdme. L 1 etude des metriques 
objectives passe done, d'une part, par 1' analyse des 

30 defauts introduits dans les signaux, et d' autre part par 
celle du systeme perceptuel humain et de ses proprietes. 
Les dif f erentes approches . sont f ondees soit sur le calcul 
du signal erreur, soit sur 1 1 identification de signatures 
particulidres des artefacts introduits par le systdme 

35 audiovisuel. L' application de modeles perceptuels permet 
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d'evaluer 1 1 importance des degradations pour le systeme 
perceptuel humain SPH. 

Les essais subjectifs sont le resultat de la 
soumission des signaux audiovisuels a un ensemble 

5 d'observateurs representatif s de la population. II s'agit 
de realiser dans des conditions de visualisation et 
d ' ecoute controlees, un ensemble de sondages de 
satisfaction. En effet, les signaux sont pr^sentes aux 
observateurs selon un, protocole predefini, de manidre a 

10 les faire r^agir sur la qualite finale. La gradation de 
la qualite suivant une €chelle predefinie est effectu^e. 
Des notes devaluation de la quality sont obtenues & la 
suite de la presentation de sequences audio , video ou de 
sequences audio et video simultanement . Des calculs 

15 statistiques permettent d'af finer ces notes individuelles 
en les f iltrant et en les homogeneisant . Plusieurs 
methodologies d f essais subjectifs sont normalisees 
notamment dans la recommandation ITU-R Bt.500 intitul£e 
"Method for the subjective assessment of the quality of 

20 television pictures". Deux d'entre elles utilisant une 
echelle de notation continue sont : 

■ DSCQS : protocole dit "Double Stimulus 
Continuous Quality Scale". 

■ SSCQB : protocole dit "Single Stimulus 
25 Continuous Quality Evaluation" . 

La premiere methode permet d'obtenir une note 
pour une sequence video de 10 secondes. II faut presenter 
successiveraent les deux sequences A et A' , respectivement 
originale et degradee (cf . figure 1) . 

30 La seconde methode s f affranchit des signaux de 

reference pour evaluer de manidre intrinseque une 
sequence donnee. La figure 2 presente une courbe de 
notations subject ives realisee sur une sequence longue de 
3 0 minutes . L 1 axe des abscisses represente 1 1 axe du 

35 temps. Un 4chantillon de la notation subjective est 
releve tous les N secondes. L'axe des ordonnees 
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repr^sente l'echelle de gradation de la qualite. La 
courbe montre 1 1 impact sur la qualite subjective de 
toutes les perturbations subies par la sequence. 

Les mesures objectives peuvent etre realises 

5 selon diverses approches. 

Le principe de l'approche qui utilise les 
modeles perceptuels est de simuler le comport ement du 
systeme perceptuel humain (SPH) parti ell ement ou 
completement . Sachant qu'il s'agit dans ce contexte de 

10 determiner la qualite des signaux audiovisuels , il suffit 
pour cela d'evaluer la percept ibi lite des erreurs. En 
effet, la modelisation de certaines fonctions du SPH 
permet de quantifier 1 1 impact des erreurs sur les organes 
sensitifs de I'homme. Ces modeles agissent comme des 

15 fonctions de ponderation appliquees aux signaux 
d' erreurs. De cette maniSre, 1' effet de chaque 
degradation est module proportionnellement . Le processus 
global permet d'evaluer objectivement la quality des 
signaux transitant a travers un systeme audiovisuel (voir 

20 figure 3) - 

Des signaux de reference S ref representant par 
exemple une sequence audiovisuelle , et des signaux S D de 
cette sequence, degrades par un systeme audiovisuel SA, 
sont compares dans un module MID d ' identification des 

25 defauts, puis une note NT leur est attribuee par 
comparaison a un modele MOD. 

Dans I'optique du calcul du signal d'erreur, 
le rapport signal sur bruit peut etre considere comme un 
facteur de qualite. Mais on observe en pratique qu'il est 

30 peu representatif de la qualite subjective. En effet, ce 
parametre est tres globalisant, et n'est done pas a m§me 
de saisir les degradations locales, typiques des systemes 
numeriques. De plus, le rapport signal sur bruit permet 
d'evaluer une fidelite tres stricte des signaux degrades 

35 par rapport aux originaux, ce qui est different d'une 
qualite perceptuelle globale. 
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L'obtention d'une meilleure evaluation de 
qualite passe par 1 'utilisation des nombreuses donnees 
experiment ales sur le systeme perceptuel humain. Leur 
application est grandement facilitee, car celui-ci a §te 
5 etudie pour sa sensibilite a un stimulus (ici I'erreur) 
dans le contexte de 1 ' image par exemple. Dans ce cadre, 
on s ' interesse a la reponse du systeme visuel (SVH) a un 
contraste, et non plus a une grandeur absolue telle que 
la luminance. 

10 Diverses images de test, telles que des plages 

uniformes de luminances, ou des frequences spatiales ou 
temporelles, ont permis de determiner experimental ement 
la sensibilite du systeme visuel et les valeurs des 
contrastes juste perceptibles associes. Le SVH a une 

15 reponse d 1 allure logarithmique a l'intensite de la 
lumiere, et une sensibility optimale aux frequences 
spatiales vers 5 cycles/degre . L 1 application de ces 
resultats doit toutefois se faire avec prudence, car ce 
sont des valeurs de seuil de visibilite. Ceci explique la 

20 dif f iculte de predire 1 1 importance de degradations de 
forte amplitude. 

Les model es audit if s procedent d'une maniere 
similaire. Experimental ement , la sensibilite aux 
diffSrents stimulus est mesuree. Elle est appliqu£e par 

25 la suite aux differents signaux d'erreurs pour evaluer la 
qualite . 

Cependant, les signaux audiovisuels sont 
complexes en termes de richesse de 1 • information. D' autre 
part, de maniere pratique, 1 'utilisation de ce type de 

30 modeles pour les signaux audiovisuels souleve plusieurs 
probldmes. Outre le fait que les signaux de reference et 
degrades doivent se trouver physiquement au m§me endroit, 
une mise en correspondance spatiale et temporelle exacte 
des sequences est indispensable. Cette approche peut done 

35 trouver des applications dans 1' evaluation d' gquipements 
localises dans le rneme laboratoire, tel qu'un codeur, ou 
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dans certains cas de transmission tel que le satellite, 
pour lequel l'emetteur et le recepteur peuvent etre dans 
le meme local . 

L'approche qui. utilise les modeles 
5 param^triques realise une combinaison d'une serie de 
parametres ou d' indicateurs de degradation retenus pour 
^laborer la note objective globale. 

Les mesures objectives appliquees aux signaux 
audio et/ou video sont des indicateurs du contenu des 
10 signaux et des degradations qu'ils ont subies. En effet, 
la pertinence de ces parametres depend de leur 
representativite en terme de sensibilite aux defauts. 

Deux categories d'approches sont alors 
possibles dans le cas de 1 1 elaboration des parametres : 

1. categorie I "Avec connaissance a priori du 
signal de reference" ; 

2. categorie II "Sans connaissance a priori 
du signal de r6f 6rence" . 

La premiere categorie I d'approche repose sur 
la realisation de la meme transformation ou du meme 
calcul de parametres sur le signal de reference et le 
signal degrade. L 1 elaboration d'une note de qualite 
globale reside dans la coniparaison des resultats issus 
des deux traitements. L'ecart mesure traduit les 
25 degradations subies par le signal. 

La deuxieme categorie II d'approche ne 
necessite pas de connaissance sur le signal original, 
mais seulement de connaitre les caracteristiques 
specif iques des degradations. II est alors possible de 
30 calculer un indicateur par type de degradation ou plus. 
En effet, le codage a bas debit et la diffusion perturbee 
des signaux de television numerique gendrent des defauts 
caracteristiques identif iables : effet de blocs, gel 
d' images etc. Des facteurs detectant ces defauts peuvent 
35 etre elabores et utilises comme indicateurs de la 
qualite . 
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Exemple de modele parametrique : 

De nombreux parametres ont ete proposes dans 

la litt£rature pour mettre en oeuvre les modeles 

parametriques. L'objet de la presente invention n'est 
5 d'ailleurs pas de definir de nouveaux parametres, mais de 

proposer un modele general pour Sexploitation de ces 

me sure s . 

L ! approche consiste a comparer les deux images 
(image de reference et image d^gradee) seulement sur la 

10 base de parametres caracteristiques de leur contenu. Le 
choix de ces parametres est lie a leur sensibilite a 
certaines degradations que le systeme £ evaluer 
introduit . Par la suite, une mesure de qualite est 
construite par correlation en utilisant une s^rie de 

15 mesures subject ives . 

Comme exemple, nous citons une technique 
developpee par 1 1 ITS (Institue of Telecommunication 
Sciences, USA) „ Elle repose sur l'extraction d'un 
parametre spatial SI et d'un parametre temporel TI, 

20 caracteristiques du contenu des sequences (voir figure 
4). Pour plus d 1 informations/ on se reportera a 1 'Article 
de A. A. WEBSTER et collaborateuars intitule "An objective 
video quality assessment system based on humain 
peception" paru dans SPIE - volume 1913, pages 15-26, 

25 juin 1993. 

L' information spatiale consideree comme 
importante est ici celle des contours. Pour une image I a 
une date t, le parametre spatial SI est obtenu ^ partir 
de l r ecart-type de 1 1 image filtree par les gradients de 
30 Sobel . Cette technique permet de f aire ressortir les 
contours de 1 1 image analysee, qui jouent ion role 
important dans la vision : 

SI C = a x , r (Sobel[I t (x,y) ) ) 

35 
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D ! une maniere analogue, 1 1 information 
temporelle a un instant donne est definie par l'<§cart- 
type de la difference de deux images consecutives : 

TI t = <x x , y U t U,y) - I c . x (x,y)])) 

Une mesure basee sur ces deux informations 
permet de mettre en valeur le changement de contenu entre 
1 1 entree du systeme video (S ref ) et sa sortie (S s ) , par 
diff^rentes comparaisons . 



15 
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M a =log 10 



TI S it) 
TI Ret (t) 



M 2 = 



M, = [rX s (t) - TI Ref (t)] 



25 Trois parametres M lf M 2 , M 3 , sont tir<§s de ces 

comparaisons dans un comparateur COMP. Chacun est 
sensible a une ou plusieurs degradations. Ainsi, par la 
comparaison des parametres SI, on prend en compte 
1 1 introduction de flou (baisse de SI) et les contours 

30 artificiels introduits par l'effet de blocs (augmentation 
de SI) . De meme, des differences entre les deux versions 
de TI r eve lent des defauts de codage du mouvement . 

L'etape suivante consiste a effectuer une 
sommation sur le temps pour.M x , M 2 , M 3 par l'une des normes 

35 de Minkowski Lp (en general, p=I, 2 ou . • De cette 
maniSre, la construction du moddle de sommation est 
possible. II permet de produire une note de qualite §. la 
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sortie d'un module de sommation SMOD. Le modele choisi 
est une combinaison lineaire des M 4 : 

Q =s a + /3M 2 + yM 2 +/jM 3 

5 

Les coefficients de pond€ration (a, /?, y, //) 
sont calcules par une procedure iterative MIN de 
minimisation de la distorsion entre les notes objectives 
Q et les notes subjectives obtenues sur le meme lot 

10 d' images. En effet, il s'agit de trouver par iteration 
les parametres du modele combinatoire . De cette maniere, 
la mesure objective estimee approchera au mieux la note 
subjective. L'indice de performance du modele est donne 
par le coefficient de correlation. 

15 Un exemple de modele a ete propose dans la 

litterature. II a permis d ( obtenir un bon coefficient de 
correlation : 0,92. 

Q = 4,77 - 0,992M a - 0,272M 2 - 0356M 3 

20 

Toutefois, il semble que les performances des 
modules combinatoires soient moins bonnes avec des images 
differentes de celles du lot ayant servi a mettre le 
modele au point . 
25 La mise en oeuvre de cette approche est moins 

contraignante que la precedente . Toutefois, il reste en 
pratique la difficulte de la mise en correspondance 
spatiale et temporelle des notes des deux sequences du 
signal . 

30 Un objet de l 1 invention est un procede qui 

permette une bonne mise en correspondance entre des 
mesures objectives et des notations subjectives que 
donnerait un panel de spectateurs. 

Un autre objet de l f invention est un procede 

35 permettant une evaluation de sequence audiovisuelle de 
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manidre absolue, c 1 est-£-dire sans avoir acces a une 
sequence d'origine non degradee. 

Un autre objet de I 1 invention est un procede 
qui permette de maniere simple et efficace d'evaluer la 
5 qualite de signaux audiovisuels dans un reseau de 
teledif fusion de signaux audio et/ou video. 

Au moins un des buts precites est atteint par 
un proc£d£ devaluation de la qualite d'une sequence 
audiovisuelle, caracterise en ce qu'il met en oeuvre : 

10 a) un apprentissage comprenant 1 1 attribution 

dune note subjective NS ± h chacune de N 0 sequences 
d' apprentissage S a - (avec - 1,2...N 0 ) presentant des 
degradations identifiees par un vecteur d f apprentissage 
MO ± qui est affecte a chaque sequence Si selon un premier 

15 procede de vectorisation, pour constituer une base de 
donnees composee des N 0 vecteurs d 1 apprentissage MO t et 
des notes subjectives NS X ; 

b) le classement des N 0 vecteurs 
d' app rent is sages MO t en k classes de notes en fonction des 

20 notes subjectives NS S qui leur ont ete attributes , pour 
former k ensembles d 9 apprentissage EA^ (avec j = l,2...Jr) 
auxquels sont attribues k notes d' apprentissage 
signif icatives NSR^ . ; 

c) pour chaque ensemble d' apprentissage EA jt 
25 1 1 elaboration selon un deuxieme procede de vectorisation 

d f un dictionnaire de r£f£rence Dj compose de N } vecteurs 
de reference VR 2 (avec = 1,2.-2^) 

d) pour ladite sequence audiovisuelle a 
evaluer, 1 1 elaboration d'un vecteur MO selon ledit 

30 premier procede de vectorisation ; 

e) le choix parmi les vecteurs de reference 
VR 2 des k dictionnaires de reference, du vecteur de 
reference VR lt le plus proche dudit vecteur MO ; 

f) 1 1 attribution a la sequence audiovisuelle a 
35 ^valuer de la note d 1 apprentissage significative NSRj, 
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correspondant au dictionnaire de reference auquel 
appartient ledit vecteur de reference VR e , le plus proche. 

Les notes d ' apprentissage signif icatives NSR^ 
peuvent etre reparties de maniere uniforme le long d'une 
5 echelle de notation, ou mieux encore de maniere non 
uniforme, ce qui permet de rendre les mesures plus 
signif icatives, par exemple par le fait que certains au 
moins des dictionnaires de reference peuvent alors 
contenir sensiblement le meme nombre de vecteurs de 
10 reference . 

Selon un mode de realisation prefere, la 
repartition des notes d 1 apprentissage signif icatives NSRj 
s'effectue par apprentissage. 

Le procede est alors caracterise en ce qu'il 
15 comprend, entre a et b, une identification des k notes 
d 1 apprentissage significations NSR jf a partir des notes 
subjectives NS^ dont chacune est consideree comme un 
vecteur £ une dimension, en recherchant une distance 
minimale entre I 1 ensemble des N a notes subjectives NS £ et 
20 les k notes d 1 apprentissage signif icatives. 

D'autres caracteristiques et avantages de 
I 1 invention apparaitront mieux avec la description qui va 
suivre et les dessins qui 1 ' accompagnent et dans 
lesquels : 

25 - la figure 1 et la figure 2 illustrent les 

deux methodes devaluation de I'Art Ant^rieur, 

respect ivement denommes DSCQS et SSCQE ; 

la figure 3 il lustre une approche connue 

mettant en oeuvre des modules perceptuels ; 
30 - la figure 4 illustre une methode developpee 

par 1 1 ITS ; 

la figure 5 illustre une realisation 
preferee de la mise en oeuvre de l 1 invention ; 

la figure 6 illustre la formation d'un 
35 dictionnaire Dj selon 1 ' invention ; 
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la figure 7 illustre le processus de 
notation d'une sequence a evaluer, selon 1' invent ion ; 

la figure 8 illustre une repartition 
uniforme des intervalles de notes subject ives ; 
5 la figure 9 est un exemple de la frequence 

d 1 apparition des notes subjectives NSi ; 

la figure 10 illustre un processus 
d f identification de notes subjectives representatives 
selon 1' invent ion ; 
10 - la figure 11 est un exemple de repartition 

non uniforme des notes subjectives obtenues selon le 
processus illustre par la figure 10 ; 

les figures 12 et 13 illustrent la 
precision d'une evaluation selon l f invention ; 
15 et les figures 14 et 15 representent une 

mise en oeuvre de !• invent ion en ce qui concerne 
respectivement la phase d' apprentissage et la phase 
operationnelle . 

L» invention se presente comme un procede 
20 devaluation objective de la qualite des signaux audio et 
video basee sur un ensemble de parametres . 

Le procede ne necessite pas de definir de 
nouveaux parametres. Son idee de base est de proposer un 
modele general base sur la quantification vectorielle 
25 pour 1 'exploitation de ces me sure s . II s " agit d'une 
approche par apprentissage qui permet de donner des notes 
objectives de qualite aux signaux audiovisuels. Cette 
evaluation est effectuee de maniere correiee a la 
notation subjective a 1 1 aide d'un modele perceptuel 
30 objectif. Pour ce faire, le modele opere en deux etapes . 

La premiere etape est realisee a partir d'un 
ensemble de sequences audiovisuelles d 1 apprentissage . Le 
modele effectue une mise en correspondance entre deux 
bases de donnees elaborees sur les memes signaux 
35 audiovisuels : 

■ une base de notes subjectives (BDNS) , 
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■ une base de mesures objectives extraites 
des signaux audio et vide (BDMO) , 

pour associer a un ensemble d' indicateurs de 
degradations (formant un vecteur de mesures objectives) , 
5 une notation subjective. 

Cette phase permet d f obtenir une connaissance 
pertinente pour la qualification de la qualite des 
signaux. 

Pendant la seconde etape, qui correspond a la 

10 phase operationnelle du proced£, ce dernier effectue une 
exploitation de ses coimaissances. En effet, S. chaque 
fois qu'il est necessaire de qualifier la qualite d'une 
sequence audiovisuelle, le modele realise une extraction 
de parametres representatif s des degradations. Par la 

15 suite, il confront e le resultat des calculs a sa base de 
connaissance. Cette operation permet de donner une note 
objective tres proche de la note subjective qu'aurait pu 
dormer un panel representatif. Le processus utilise dans 
la presente invention utilise la quantification 

20 vectorielle. Le principe est de trouver dans les 
dictionnaires le vecteur representatif le plus proche du 
vecteur de parametres calcules sur les signaux audio et 
video. La note subjective gener^e peut par exemple etre 
celle qui est associee au dictionnaire contenant le 

25 vecteur representatif les plus proche. 

La problematique de la quantification 
vectorielle a ete identifiee dans la litterature. Elle se 
resume par la definition de ses trois composantes 
principales interdependantes : 

30 "la formation de vecteurs a partir des 

informations a coder, 

■ la formation du dictionnaire a partir d'un 
ensemble d'apprentissage, 

■ la recherche du plus proche voisin £ l'aide 
35 d'une distance appropriee. 
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La notion de distance ou distorsion entre deux 
vecteurs est introduite pour la recherche du plus proche 
voisin dans le diet ionnaire . Plusieurs distances ont ete 
proposees pour optimiser la quantification vectorielle et 
5 pour approcher au maximum la fidelite aux signaux 
initiaux. 

La distance ou distorsion appelee erreur 
quadratique, est parmi celles qui sont les plus utilisees 
pur la quantification vectorielle. L 1 appellation distance 
10 ici n'est pas exacte, il s'agit, en fait, du carre d'une 
distance au sens mathematique du terme. 

t 

15 (A,B) deux vecteurs de dimension t. 

La quantification vectorielle est utilisee 
dans le cadre de la pr6sente invention pour elaborer un 
modele perceptuel object if. Ce moddle sera exploit^ pour 
quantifier la qualit§ des signaux audiovisuels . 
20 Soit un ensemble E de N Q sequences audio S A de 

n secondes chacune. Elles sont toutes composees d'une 
serie d 1 images video et d 1 echanti lions audio. 
E={SJ±=. .N 0 } 

Ces sequences ont trans ite a t ravers des 
25 configurations representatives des systemes de 
distribution de la television numerique . En effet, les 
r^seaux de distribution et de diffusion mis en oeuvre 
sont le satellite, le cable et le reseau terrestre. Des 
perturbations ont ete introduites lors de la transmission 
30 des signaux audiovisuels afin de les degrader. 

Nous avons realise des essais subjectifs sur 
cet ensemble de sequences degradees. Une base de donnees 
de notes subjectives a ete elaboree . 
BDES={NSJ i = l . .N 0 } 

35 
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NSt represente la Note Subjective obtenue par 
la sequence S s de 1' ensemble E. 

D 1 autre part, nous avons elabore une autre 
base de donnees a partir des Mesures Objectives MO ± 
5 realis6es sur l f ensemble des sequences E. 

BDMO= {MO t / i=l . .N 0 ) 
Avec MO ± = (V lt . . , V t ) 

10 A chaque sequence S 4 correspond un vecteur MO i 

(voir figure 5) . Ces vecteurs sont composes de t 
parametres Vj calcules sur les signaux audio et/ou video. 
Ces parametres peuvent etre comparatifs (cat^gorie I) ou 
intrinseques (categorie II) . lis informent sur le contenu 

15 et sur les degradations subies par la sequence . 

Afin de former pour chaque sequence 
audiovisuelle S s son vecteur representatif MO ir un proced£ 
distinct calcule des parametres objectifs extraits a 
partir des echantillons des signaux num§riques audio et 

20 video . 

A partir des donnees que nous avons decrites, 
le procede opere une phase d'apprentissage. En effet, un 
traitement adapte de ces donnees permet de d^velopper une 
base de connaissance que le modele utilisera par la suite 

25 dans sa phase operationnelle. 

Pour 1' ensemble E des sequences S if une 
repartition en k classes de notes EA^ est effectuee. Pour 
cela, on utilise la valeur de la note subjective NS i 
attribuee a la sequence S ± . L' intervalle d 1 evolution de 

30 NS S est done fragmente en k segments 1^ distincts auxquels 
sont associes les k ensembles d* apprentissage jEAj. Une 
note subjective representative NSRj est associee a chaque 
segment j . Cette operation se traduit par un groupetnent 
dans chaque classe de note EA, des donnees concernant les 

35 sequences dont la qualite a ete jug£e similaire ou 
equivalente. 
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La valeur k (par exemple Jc=5) est prise ici 
comme exemple d 1 application dans la Figure 5. Une 
repartition sur un nombre de classes inferieur ou 
supSrieur est envisageable en fonction des besoins de 
5 precision de l'§quipement de metrologie. 

Les vecteurs MO ± de mesures objectives des 
sequences S i correspondant a un intervalle I 3 de valeurs 
de notes subjectives NS S sont rassembles dans 1« ensemble 
d ' apprentissage EAj . k ensembles d 1 apprentissage sont 
10 alors formes a partir des bases de donnees initiales 
(cf . Figure 5) . 

A partir d'un ensemble d ' apprentissage de AT 
vecteurs, le dictionnaire de reference, compost de N 
vecteurs, est celui qui represente le mieux 1* ensemble 
15 vectoriel initial . II emploie un groupe de vecteurs 
presentant la plus petite distance ou distorsion moyenne 
par rapport a tous les M vecteurs de 1 1 ensemble 
d» apprentissage, parmi les autres dictionnaires candidats 
possibles. La construction du dictionnaire est basee sur 
20 la formation des meilleurs vecteurs repr^sentatif s . 

Des algorithmes de classification sont 
utilises, de fagon £ elaborer un dictionnaire de vecteurs 
representatif s a partir d'un ensemble initial ; ce 
dernier est appele "training set" ou ensemble 
25 d 1 apprentissage . 

Plusieurs auteurs ont propose des solutions 
pour la classification en dictionnaires. 

■ Nuees dynamiques, ou Algorithme LBG, 

■ Methode du reseau de neurones de Kohonen. 

30 Pour chaque classe de notes EAj et a partir 

des vecteurs MOi de mesures objectives et de leurs notes 
NS± (voir figure 6) , on applique une procedure FORM de 
formation d'un dictionnaire Dj. 

k dictionnaires Dj, composes respectivement de 

35 Nj vecteurs sont associes aux k classes ou plages de notes 
subjectives. La valeur de Nj est choisie suivant le nombre 
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initial de vecteurs de la classe de notes EAj et selon la 
precision souhaitee pour le modele. Chaque dictionnaire Dj 
est done associe a un intervalle Ij des notes subjectives. 

Les algorithmes utilises pour la formation des 
5 dictionnaires Dj sont le LBG et les reseaux de neurones 
Kohonen. Ces methodes donnent des resultats comparables. 
Ces techniques sont d'autant plus efficaces que malgre 
des tailles N jf choisies expressement limitees (par 
exemple Nj = . . . ) , les dictionnaires de reference restent 
10 representatif s . 

Le but d'un dispositif automatique 
d' evaluation de la qualite des signaux est de fournir une 
note finale d' evaluation desdits signaux. Dans sa phase 
operationnelle de fonctionnement le procede decrit dans 
15 la presente invention se decline suivant deux processus 
(voir figure 7) . 

Le premier reside dans le traitement des 
echantillons audio et/ou video de la sequence 
audiovisuelle k evaluer SAE afin d'en extraire les 
20 param^tres. En effet, un vecteur V± d f indicateurs de la 
quality de 1' audio et/ou de la video est forme suivant 
les categories I et/ou II d£crites pr6c6deroment • II 
permet de representer les caracteristiques pertinentes 
pour la qualification des signaux. 
25 Le second processus (QUANT) fait correspondre 

par qualification vectorielle au vecteur V ± de parametres 
en entree qui est attribue k une sequence audiovisuelle a 
evaluer, 1'indice j du dictionnaire le plus proche. A cet 
effet, la minimisation de la distorsion entre le vecteur 
30 incident et tous les vecteurs des k dictionnaires est 
operee. Elle permet d' identifier le dictionnaire D 3 auquel 
appartient le vecteur U le plus proche de V lf et done 
l f indice j. 

L' operation utilisee de maniere avantageuse 
\5 dans cette approche, est la quantification vectorielle. 
Elle permet de trouver le plus proche voisins d'un 
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vecteur Vi et par consequent son meilleur representant 
dans un dictionnaire ou dans un ensemble de 
dictionnaires. A un vecteur d' entree V* presente, la 
quantification vectorielle determine a quel vecteur de 

5 quel dictionnaire il est le plus proche, et attribue a ce 
vecteur la note d' apprentissage significative NSRj de ce 
dictionnaire D-j. 

Rappelons, que 1' indice j n'est autre que la 
classe de qualite obtenue a la suite d'une gradation des 

10 essais subjectifs operes sur les sequences 
audiovisuelles. Pour cette technique de separation en 
plusieurs ensembles d' apprentissage, il y a deux points 
important s a etudier : 

■ la taille de chaque dictionnaire 

15 ■ la position des plages de notes de chaque 

dictionnaire. 

La taille de chacun des dictionnaires presente 
une certaine importance. En effet, le norabre de vecteurs 
influence directement la reprisentativite du 

20 dictionnaire, et par consequent l'efficacite de la 
quantification vectorielle. 

D 1 autre part, la position des plages de notes 
est tout aussi importante . Il faut savoir quelles notes 
on va associer entre elles. On peut par exemple reserver 

25 une grande plage de notes pour la mauvaise qualite, ainsi 
des que la qualite se degrade un minimum, le 
quant if icateur le detectera. On peut aussi faire le 
contraire, en reservant une petite plage pour la mauvaise 
qualite, avec ceci le quant if icateur ne detectera la 

30 mauvaise qualite video uniquement que si celle-ci est 
fortement degradee. 

On voit done, qu'a l'aide de ces deux 
paramgtres, on peut influencer la quantification 
vectorielle. On peut aussi influencer cette 

35 quantification en ajoutant un pretraitement sur les 
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parametres objectifs calculus & partir des signaux audio 
et/ou video. 

Nous avons defini ci-dessus le f onctionnement 
du procede en trois etapes principales : d'abord la 
formation des mesures objectives MO if puis la construction 
des dictionnaires D jf et enfin la recherche du 
dictionnaire dans lequel se trouve le vecteur le plus 
proche d'un vecteur de mesures objectives. Le modele peut 
alors attribuer a la sequence Si, representee par les 
mesures objectives MO if la note subjective representative 
NSRj associee au dictionnaire D^, en utilisant sa base de 
connaissances. Cependant, un processus de choix eventuel 
des plages de 1 'echelle de notes subjectives n»a pas ete 
defini, ni celui de choix de la note representative NSR 3 
associee a chaque dictionnaire D } . Le partitionnement de 
1' echelle de la note subjective est une etape inportante, 
car il va definir les notes que le module sera capable de 
fournir lors de la phase operationnelle . 

Selon ce qui a ete defini precedetnment, chaque 
classe est d£finie par 1' ensemble d 1 apprentissage BA j de 
mesures objectives, et un intervalle de l'echelle des 
notes subjectives NS S • 

Dans le cas de tests subjectifs a echelle de 
notation discrete, le nombre de notes representatives et 
de plages correspondantes est naturellement limite par le 
nombre de niveaux que peut prendre la note (en general 5 
niveaux) . 

Dans le cas de tests subjectifs a echelle de 
notation continue les possibilites sont beaucoup plus 
variees : le nombre d» ensembles d ' apprentissage peut etre 
quelconque. Deux approches sont alors possibles : soit 
les intervalles J^. de notes subjectives sont choisis 
arbitrairement, soit une procedure automatique qui permet 
de choisir des intervalles est appliquee. 
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Partitionnement arbitraire 

Un choix arbitraire des intervalles de notes 
subjectives NS ± (voir figure 8, pour une repartition 
uniforme) a l'avantage de ne necessiter aucune ressource 
5 particulidre lors de 1 1 implantation materielle de 
1 1 invention dans un equipement . Cependant , ce 
partitionnement qui ne tient pas compte de la repartition 
effective des notes subjectives pour les sequences de 
I 1 ensemble E (figure 9) risque de definir certains 

10 intervalles qui ne contiendront pas ou trds peu de notes 
subjectives NS ir alors qu f un seul intervalle pourra 
contenir la plupart des notes. 

Une telle repartition inegale des notes 
subjectives entre les intervalles a un double 

15 inconvenient pour le modele : 

1. En premier lieu, quelle que soit la taille 
des dictionnaires et la sensibilite des parametres VI.. t 
aux degradations, 1 1 ecart entre la note subjective 
predite et la note subjective reelle ne peut pas etre 

20 minimise. En effet, la phase opSrationnelle associe a 
tout vecteur VI.. t de parametres objectifs la note NSR^, du 
dictionnaire D p le plus proche . L 1 intervalle de notes 
subjectives represents par NSR P etant d'une certaine 
largeur de 1 1 intervalle, l'ecart moyen ne pourira pas 

25 descendre en dessous d'un certain seuil, fonction de la 
largeur de 1 1 intervalle . Dans le cas oil 1' ensemble 
d 1 apprentissage EA P correspondant contient la plus grande 
partie des sequences Si 7 le modele va tres frequemment 
utiliser la note NSR P et done commettre frequemment une 

30 erreur nominale. La performance moyenne du modele pour 
cette classe p de notes sera done limitee par cette 
largeur d 1 intervalle, et serait amelioree en reduisant 
1 1 intervalle . Par consequent, pour la classe p 
representant la plus grande partie des sequences S it e'est 

35 la performance moyenne du modele qui est limitee. 



3NSDOCID: <FR 279557BA1_I_> 



21 



2795578 



On voit done qu'un partitionnement en 
interval les plus pet its dans les zones denses au sens du 
nombre de notes subjectives obtenues dans la base de 
donnees DBNS est avantageux. 

2. En second lieu, une approche arbitraire 
pour le partitionnement peut amener a avoir un nombre 
global non optimal de vecteurs pour les dictionnaires. 
Nous avons vu que pour ce type de partitionnement, les 
ensembles d • apprentissage EA j formes pourront etre de 
tailles trds differentes. II s'ensuit que, pour un 
ensemble d » apprentissage EA p de taille iraportante, 
l'algorithme de la phase de classification aura besoin de 
beaucoup de vecteurs dans le dictionnaire D p , pour 
parvenir a representer EAp avec une distorsion voulue. 
Cela est du a la grande diversite des donnees a 
representer. Un partitionnement garantissant de ne pas 
obtenir de desequilibre important quant a la taille des 
ensembles d 1 apprentissage peut resoudre ce point Par 
ailleurs, il n'est pas certain que la taille plus modeste 
des autres ensembles d 1 apprentissage permette de reduire 
la taille de leurs dictionnaires. L f ensemble se 
traduirait done par une augmentation des coGts 
d 1 implantation materielle de la methode, ainsi que par 
une diminution de la precision du modele. 

Une reponse partielle a ces inconvenients est 
de faire un partitionnement de maniere empirique, a 
chaque fois qu'un ensemble E de sequences est etudi<§. 
Pour cela on s'efforcera done de parti tionner plus 
finement l f echelle des notes aux endroits ou le nombre de 
notes NSi est important. 

Toutefois, il est bien plus interessant 
d'appliquer une procedure automat ique, qui permettra de 
plus de faire un partitionnement optimal, en mettant en 
oeuvre un partitionnement automatique qui s'adapte a la 
repartition statist ique des notes subjectives attributes 
a l 1 ensemble E des sequences S £ . 
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En effet, on a vu qu'un partitionnement 
arbitraire n'est a priori pas adapte a la repartition des 
notes subjectives NSi le long de l'6chelle de notation 
subjective. Bien que 1' ensemble E des sequences 
5 d' apprentissage soit representatif des degradations, on 
observe generalement que la repartition des valeurs de NS± 
est ef f ectivement loin d'etre uniforme, par exemple dans 
le cas de la television numerique. La figure 9 presente 
la frequence d' occurrence des notes subjectives NSx : on 
10 observe que beaucoup de notes sont proches d'un niveau de 
qualite eleve. Les classes de haute qualite pourront done 
representer la grande majorite des notes alors que la 
classe la plus basse sera presque vide. L' utilisation 
d 7 une procedure automatique de partitionnement optimal 

15 garantissant une repartition plus equitable de cet 
ensemble DBNS de notes subjectives va permettre d'obtenir 
une meilleure performance du modele final. 

Ce probleme est avantageusement resolu par un 
procede constitue de deux etapes : tout d'abord une 

20 identification de k notes subjectives representatives 
NSRj, puis le choix de la note subjective NSRj 
representant le mieux une note subjective NSi. 

1. Une identification des k notes subjectives 
representatives NSRj est effectuee a partir des notes 

25 subjectives NSi (figure 10) . Le procede considere que 
chaque note NSi est un vecteur a une dimension, afin 
d'appliquer un processus d ' elaboration d'un dictionnaire 
de reference) . Une des methodes LBG, nuees dynamiques, ou 
reseau de neurones de Kohonen est utilis^e afin d'obtenir 

30 le nombre desire k de representants NSRj. 

Ce type de methode tend a rechercher le 
minimum de distorsion, au sens de la distance ^ entre 
1' ensemble des NS £ et des NSR 3 . II repond done 
parf aitement aux inconvenient s du positionnement dit 

35 arbitraire. 
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2. La classification de 1' ensemble 

d'apprentissage DBMO en k ensembles EAj. Pour cela, on 
consid^re les couples de donnees (MO ir NS ± ) , chacun 
correspondant a une sequence Si. Pour chaque couple, on 
recherche la note subjective representative NSRj la plus 
proche de NS± par application de la procedure de 
quantification vectorielle, ce qui permet de determiner 
1'indice j. Le vecteur de donnees objectives MO* est alors 
ajoute a 1' ensemble d'apprentissage EAj . La creation des 
ensembles EAj dans lesquels sont repartis les vecteurs MO x 
est terminee lorsque tous les couples (MO ir NS±) ont ete 
traites . 

Un exemple de partitionnement optimal de 
I'echelle de notation subjective est donne en figure 11 
et illustre la difference avec la figure 8. 

Le modele est ici utilise afin d r illustrer ses 
possibilites sur un programme de television numerique 
contenant des degradations* Les notes subjectives ont ete 
obtenues selon le protocole SSCQE, c r est-a-dire une note 
toutes les demi-secondes. On considere alors que le 
programme est constitue d'une serie d f autant de court es 
sequences S ± d'une demi-seconde, que de notes. 

La figure 12 montre Involution conjointe de 
la note subjective NS sur une demi-heure. On constate que 
la note objective attribute NSR suit precisement la note 
subjective NS (en pointilles) . 

La figure suivante 13 montre de maniere 
synthetique la correspondance entre la note predite par 
le modele et la note subjective reelle, pour la me me 
experience, ainsi que la precision du modele. On 
distingue 7 classes, qui correspondent a autant de 
valeurs de notes predites (note objective NS en abscisse, 
note subjective NSR en ordonnee) . 

Pour chaque classe, le graphique represente la 
moyenne des notes subjectives reel les (Moy) donnees par 
les observateurs. On constate la bonne lin<§arite de la 
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correspondance entre les deux notes, ce qui est un 

premier critere de performance. 

La moyenne des notes subject ives r^elles (Moy) 

est egalement encadree par deux autres reperes (EcartT) . 
5 Pour chaque classe, ces reperes indiquent 1 'amplitude, 

par rapport a la moyenne, de l'ecart-type des notes 

subjectives correspondant a la note objective de la 

classe. Une faible valeur signifie que le modele est 

precis. Les valeurs obtenues pour cet ecart-type sont 
10 comparables aux performances des tests subject if s qui 

constituent la reference pour le modele, ce qui est tout 

a fait satisf aisant . 

Un mode de mise en oeuvre de 1' invention va 

maintenant etre decrit, en liaison avec les figures 14 et 
15 15 . 

Afin d'evaluer la qualite de signaux 
audiovisuels, le procede met done en oeuvre deux phases : 
une phase d* apprentissage (figure 14) et une phase 
operationnelle (figure 15) . 

20 La phase d 1 apprentissage est effectuee une 

seule fois. Elle consiste a obtenir les k dictionnaires 
Dj de vecteurs de mesures objectives, et les notes 
subjectives representatives NSRj associSes. Cette phase 
est realisee a partir : 

25 ■ d f une part, de la Base de Donnees de 

Mesures Objectives (BJDMO) , obtenue & partir de signaux 
audio et/ou video et d f un processeur (non represents) de 
calcul de parametres (MO, Mesures Objectives) . 

■ d* autre part, d'une Base de Notes 

30 Subjectives (DBNS) obtenue a partir des memes signaux 
audio et/ou video que la base BDMO et d f un ensemble 
d 1 observateurs . 

La phase d 1 apprentissage peut se decomposer en 

3 etapes : 
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1. Un processeur de construction du 
dictionnaire permet de trouver les Jc notes subjectives 
NSRj, representatives de la base BDNS. 

2 . Chaque vecteur de la base BDMO est 
5 ajoute k l r un des k ensembles d ' apprentissage EAj en 

fonction de la classe j §l laquelle appartient la note NS 
de la base BDNS correspondant au vecteur. La classe j est 
obtenue grace a un processeur de quantification 
vectorielle qui recherche la note NSRj la plus proche de 
10 la note NS. 

3. Enfin, chaque dictionnaire Dj (dicol, ... 
dicok) , compose de N 3 vecteurs est obtenu a partir de 
1 1 ensemble d 1 apprentissage EAj correspondant, grace a un 
processeur de constructions de dictionnaire. 

15 La phase operationnelle est ensuite appliquee 

a chaque fois que la qualite d'une sequence audiovisuelle 
doit etre predite. Cette phase exploite la connaissance 
acquise par le module au cours de la phase 
d 1 apprentissage . Pour un vecteur de parametres objectifs 

20 MO issu d'une sequence audiovisuelle, on calcule une note 
objective de qualite. Les parametres objectifs MO sont 
fournis par un processeur de calcul de paramdtres qui 
peut etre quelconque. 

Cette phase operationnelle peut alors se 

- 5 decomposer en deux etapes : 

1. Un processeur de quantification vectorielle 
recherche le vecteur U le plus proche du vecteur de 
parametres objectifs MO en entree, parmi tous les 
vecteurs des dictionnaires jD^ (dicol, ... dicok) obtenus 

K> lors de la phase d 1 apprentissage . Le processeur fournit 
alors le numero j du dictionnaire correspondant. 

2. L'etape suivante peut alors attribuer a la 
sequence audiovisuelle la note de quality de valeur NSR-. 
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1. Procede devaluation de la qualite d'une 
sequence audiovisuelle, caracterise en ce qu'il met en 
oeuvre : 

a) un apprentissage comprenant 1 1 attribution 
d'une note subjective MS^ a chacune de N 0 sequences 
d' apprentissage S i (avec i = 1,2...N D ) presentant des 
degradations identifiees par un vecteur d' apprentissage 
MO i qui est affecte a chaque sequence S i selon un premier 
procede de vectorisat ion, pour constituer une base de 
donnees composee des N 0 vecteurs d ' apprentissage MO i et 
des notes subject ives NS ± ; 

b) le classement des N 0 vecteurs 
d' apprentissage M0 i en k classes de notes en fonction des 
notes subject ives NS ± qui leur ont ete attributes, pour 
former k ensembles d 1 apprentissage EA j (avec j = 1,2... k) 
auxquels sont attribues k notes d' apprentissage 
signif icatives NSR^ . ; 

c) pour chaque ensemble d 1 apprentissage EA Jf 
1 ■ ' elaboration selon un deuxieme procede de vectorisation 
d'un dictionnaire de reference D j compose de Nj vecteurs 
de reference VR X (avec 1 = 1,2...!^) ; 

d) pour ladite sequence audiovisuelle a 
^valuer 1 9 Elaboration d'un vecteur MO selon ledit premier 
procede de vectorisation ; 

e) le choix parmi les vecteurs de reference 
VRj des k dictionnaires de reference, du vecteur de 
reference VR e , le plus proche dudit vecteur MO ; 

f) attribution a la sequence audiovisuelle a 
evaluer de la note d 1 apprentissage significative NSR jf 
correspondant au dictionnaire de reference auquel 
appartient ledit vecteur de reference VR 2 , le plus proche . 

2. Procede selon la revendication 1, 
caracterise en ce que les notes d 1 apprentissage 
signif icatives NSR j sont reparties de maniere uniforme le 
long de I'echelle de notation. 
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3. Procede selon la revendication 1, 
caracterise en ce les notes d 1 apprent is sages 
signif icatives NSRj d r au moins certains des Jc 
dictionnaires de reference sont reparties de maniere non 

5 uniforme le long de l'echelle de notation. 

4. Procede selon la revendication 3, 
caract6ris6 en ce que ladite repartition est telle qu'au 
moins certains des dictionnaires de reference contiennent 
sensiblement le meme nombre de vecteurs de reference . 

10 5. Procede selon une des revendications 3 ou 

4, caracterise en ce qu'il comprend, entre a et b, une 
identification des Jc notes d 1 apprent issage significations 
NSRj, a partir des notes subject ives NS ± dont chacune est 
consideree comme un vecteur a une dimension, en 

15 recherchant une distance minimale entre 1" ensemble des N 0 
notes subjectives NS S et les k notes d 1 apprent issage 
signif icatives . 
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